DDT: A Diffusion-Driven Transformer-based Framework for Human Mesh Recovery from a Video

分享人：石邢越
研究方向：行人重识别
论文题目：DDT: A Diffusion-Driven Transformer-based Framework for Human Mesh Recovery from a Video
论文作者：Ce Zheng, Guo-Jun Qi, Chen Chen
作者单位：中佛罗里达大学、OPPO西雅图研究中心、西湖大学
论文摘要：人体网格复原 (HMR) 为游戏、人机交互、虚拟现实等各种现实应用提供丰富的人体信息。与基于单一图像的方法相比，基于视频的方法可以利用时间信息通过结合人体运动先验来进一步提高性能。然而，诸如VIBE之类的多对多方法存在运动平滑和时间不一致的问题。虽然TCMR和MPS-Net等多对一方法依赖于未来帧，但在推理过程中这是非因果关系且时间效率低下。为了应对这些挑战，提出了一种用于基于视频的HMR的基于扩散驱动变压器的新型框架 (DDT)。DDT旨在解码输入序列中的特定运动模式，增强运动平滑度和时间一致性。作为一种多对多方法，我们的DDT解码器输出所有帧的人体网格，使DDT更适用于时间效率至关重要且需要因果模型的实际应用。在广泛使用的数据集（Human3.6M、MPI-INF-3DHP 和 3DPW）上进行了大量实验，证明了我们的DDT的有效性和效率。
原文链接：

点击此处